Wir haben über Feedforward

Neural Networks und Convolutional Neural Networks gesprochen und

jetzt haben wir die äußeren Modelle eingeführt.

Wir müssen sie vorstellen

weil Feedforward und Convolutional Neural Networks einige

Verlusten vorhanden sind, wenn sie nach Sequential Data verwendet werden.

Sie können nicht die vorherigen Zeitstunden erinnern und ein Statement von dem

was in der Vergangenheit

passiert ist

und versuchen

die Information in diesem Statement zu verwenden

was nächstes

Mal passiert ist.

Sie können auch nicht direkt Sequenzen von verschiedenen Längen verhandeln

was typisch

im Falle der Zeit-Series-Domains ist

weniger typisch im Falle der Vision-Domains

wo man

zum Beispiel alles auf der gleichen Länge reshapen kann

auf der gleichen Dimension

weil

vielleicht alle Bilder auf einer bestimmten Resolution sind.

Für die Zeit-Series ist es ziemlich anders.

Wir könnten die Neuigkeiten haben, die auf der gleichen Länge verhandeln.

So

wir versuchen

eine Neuigkeiten-Netzung zu bauen

also eine Netzung

die aus der

vorherigen Zeit-Computation aus der Information heruntergebracht wird

um diese Probleme zu

lösen.

Wir beginnen mit dieser, das ist eine normale Neuigkeiten-Netzung, und von der sehr

Inhaltlichen Zeit-Signale ausgesprochen wird.

Das ist

wie gesagt

nicht der beste Zeit-Series-Architektur.

Zum Beispiel können sie nicht die vorherigen Inhalte erinnern.

Sie bekommen nur einen Inhalt und geben einen Ausfluss.

Jetzt wollen wir einen Architekt

der die Zeit-Dependenzen explizit lernt.

Erstens

um die zeitgeprägte Zeit-Depende zu analysieren

müssen wir Kontexten entdecken.

Der Kontext muss entdeckt werden.

Wir brauchen eine Neuigkeiten-Netzung

die sich in der Sequenz verhandeln kann.

In diesem Fall müssen wir eine Neuigkeiten-Netzung

die

wenn die currente Inhalte erhält